inhalt
Was ist Generative AI Testing?
Generative AI Testing bezeichnet die Qualitätssicherung rund um generative KI – und wird in der Praxis in zwei Bedeutungen verwendet: Zum einen geht es darum, Generative AI im Testprozess einzusetzen. Zum anderen bezeichnet der Begriff das systematische Testen generativer AI-Systeme selbst.
Mit Generative AI testen
Bei der ersten Perspektive unterstützt generative KI Tester bei ihrer Arbeit. Ein Large Language Model (LLM), also ein Sprachmodell zur Verarbeitung und Erzeugung von Text, kann beispielsweise Anforderungen analysieren, Testideen entwickeln, Testfälle formulieren oder bei der Auswertung von Ergebnissen helfen.
Ein praktisches Beispiel: Eine Testanalystin lässt ein LLM eine User Story auf Unklarheiten, fehlende Akzeptanzkriterien und mögliche Grenzfälle untersuchen. Dabei spielt auch der Prompt eine wichtige Rolle – also die Anweisung, mit der das Modell gesteuert wird. Schon kleine Änderungen am Prompt können die Qualität der Antwort beeinflussen. Dieses Prompt Testing hilft dabei, geeignete Eingaben systematisch zu entwickeln und zu bewerten.
Die KI kann den Testprozess damit beschleunigen und erweitern. Die fachliche Bewertung und Verantwortung bleiben jedoch beim Menschen.
Generative AI testen
Bei der zweiten Perspektive ist das GenAI-System selbst das Testobjekt. Beim LLM Testing oder Generative AI Testing wird geprüft, ob Antworten korrekt, relevant, robust, sicher und für den jeweiligen Anwendungsfall geeignet sind.
Ein typisches Beispiel ist ein produktiver Support-Chatbot auf Basis von RAG (Retrieval-Augmented Generation). Dabei kombiniert ein LLM seine Fähigkeiten mit Informationen aus externen Wissensquellen, etwa einer internen Dokumentation. Das QA-Team prüft unter anderem, ob relevante Inhalte gefunden, korrekt verarbeitet und zuverlässig in die Antwort übernommen werden.
Besonders wichtig ist dabei der Umgang mit Halluzinationen – also plausibel klingenden, aber falschen oder unbelegten Aussagen. Auch Bias, also systematische Verzerrungen in den Ergebnissen, muss berücksichtigt werden. Bei länger laufenden Systemen kann zudem Drift auftreten: Veränderungen bei Daten, Nutzungskontext oder Modellverhalten können dazu führen, dass sich die Qualität mit der Zeit verschiebt.
Je nach Anwendung werden Modelle außerdem durch Fine-Tuning mit zusätzlichen Daten auf bestimmte Aufgaben angepasst. Auch solche Anpassungen müssen getestet werden. Technisch verarbeiten LLMs Texte in Tokens, also kleinere Verarbeitungseinheiten, die unter anderem Einfluss auf Kontextlänge, Kosten und Modellverhalten haben.
Generative AI Testing unterscheidet sich damit vom klassischen Softwaretesten. Dort lassen sich erwartete Ergebnisse häufig eindeutig definieren. Generative Modelle arbeiten dagegen probabilistisch und können auf ähnliche Eingaben unterschiedliche, dennoch akzeptable Antworten liefern.
AI Testing ist dabei der weiter gefasste Begriff: Es umfasst die Qualitätssicherung unterschiedlichster KI-Systeme, während Generative AI Testing gezielt GenAI-Anwendungen wie LLMs, Chatbots und RAG-Systeme betrachtet. Einen umfassenden Überblick bietet unsere Übersichtsseite zu künstlicher Intelligenz.
GenAI im Testprozess nutzen – Anwendungsfelder im Überblick
Wer GenAI Testing einsetzen möchte, kann generative KI an vielen Stellen des Testprozesses sinnvoll nutzen. Large Language Models können analysieren, formulieren, Varianten erzeugen und Informationen verdichten. Sie nehmen Tester jedoch nicht die fachliche Bewertung ab. Eine überzeugend formulierte Antwort ist noch kein verlässliches Testergebnis – GenAI liefert Vorschläge, die geprüft, hinterfragt und in den jeweiligen Kontext eingeordnet werden müssen.
1. Requirements analysieren
Bei der Testanalyse mit LLMs kann GenAI Anforderungen, User Stories oder Akzeptanzkriterien nach Unklarheiten, Widersprüchen und fehlenden Informationen durchsuchen.
Beispiel: Für eine Funktion zur Änderung der Bankverbindung erkennt das Modell, dass zwar der Happy Path beschrieben ist, aber offenbleibt, was passiert, wenn die neue IBAN bereits einem anderen Kundenkonto zugeordnet ist oder die Verifizierung abbricht.
Das kann eine Requirements Review mit KI beschleunigen. Ob der Hinweis fachlich relevant ist und welche Anforderung tatsächlich fehlt, müssen jedoch Menschen beurteilen.
2. Testideen entwickeln
GenAI eignet sich gut als Sparringspartner, um unterschiedliche Testsituationen und Grenzfälle zu finden.
Beispiel: Bei einem Online-Check-in für eine Flugreise schlägt das Modell neben dem Standardablauf auch Tests für abgelaufene Reisedokumente, kurzfristige Sitzplatzänderungen, mehrere Reisende in einer Buchung oder einen Verbindungsabbruch unmittelbar nach der Bordkarten-Erstellung vor.
Gerade hier kann GenAI den Blick erweitern. Vollständigkeit garantiert sie aber nicht. Risikoanalyse, Priorisierung und Auswahl bleiben Aufgaben des Testteams.
3. Testfälle formulieren
Auch bei der Testfall-Generierung mit KI kann GenAI Zeit sparen. Aus Anforderungen und vorhandenen Testideen lassen sich strukturierte Testfälle mit Vorbedingungen, Schritten und erwarteten Ergebnissen entwerfen.
Beispiel: Für eine neue Rückerstattungslogik in einem Onlineshop formuliert das Modell Testfälle für vollständige und teilweise Retouren, Gutscheine, Mischzahlungen aus Kreditkarte und Guthaben sowie bereits versendete Teilerstattungen.
Die Ergebnisse sollten als Entwurf verstanden werden. Das Team muss prüfen, ob die Testfälle fachlich korrekt, sinnvoll und tatsächlich durch die Anforderungen gedeckt sind.
4. Ideen für Testdaten erzeugen
GenAI kann mögliche Werteklassen, Grenzwerte und ungewöhnliche Datenkombinationen vorschlagen.
Beispiel: Für ein europäisches Kundenportal erzeugt das Modell Testdaten-Ideen für Namen mit Umlauten oder Apostrophen, sehr lange Firmenbezeichnungen, unterschiedliche Telefonnummernformate und Adressen aus Ländern mit abweichenden Postleitzahlen- und Hausnummernkonventionen.
Das ist besonders bei der Ideengenerierung hilfreich. Produktive oder personenbezogene Daten sollten jedoch nicht unkontrolliert an externe Modelle übertragen werden, und synthetisch erzeugte Testdaten müssen auf fachliche Plausibilität geprüft werden.
5. Testautomatisierung unterstützen
Bei der Testautomatisierung mit GenAI können LLMs Code entwerfen, bestehende Skripte erklären oder bei Refactorings unterstützen.
Beispiel: Ein bestehender Selenium-Test prüft, ob nach einem Tarifwechsel die korrekte Vertragsbestätigung erscheint. Ein LLM erzeugt daraus einen ersten Playwright-Entwurf, extrahiert wiederverwendbare Selektoren und schlägt Varianten für unterschiedliche Tarifkombinationen vor.
Der erzeugte Code ist kein Qualitätsnachweis. Automatisierte Tests müssen weiterhin reviewed, ausgeführt und auf Wartbarkeit sowie korrekte Assertions geprüft werden.
6. Reporting und Dokumentation beschleunigen
GenAI kann große Mengen an Testergebnissen zusammenfassen und bei der Testdokumentation unterstützen.
Beispiel: Nach einem Regressionstest mit mehreren hundert Testfällen und zahlreichen Defects erstellt das Modell einen ersten Management-Entwurf: Welche Funktionen waren besonders betroffen, welche Fehlercluster traten auf und wo bestehen noch bekannte Risiken vor dem Release?
Das spart Schreibarbeit, birgt aber ein besonderes Risiko: Ein Modell kann Zusammenhänge ergänzen, die in den Quelldaten gar nicht enthalten sind. Zahlen, Aussagen und Schlussfolgerungen müssen deshalb gegen die Originaldaten geprüft werden.
Prompt Engineering wird zur Testkompetenz
Wie nützlich diese Anwendungen sind, hängt stark vom Prompt Engineering ab. Gute Prompts geben Kontext, Aufgabe, relevante Daten, gewünschtes Ausgabeformat und Grenzen möglichst eindeutig vor. Statt „Erstelle Testfälle“ ist beispielsweise ein Prompt hilfreicher, der Rolle, Requirement, Risikoschwerpunkte und erwartete Struktur beschreibt.
Prompting ist deshalb keine einmalige Formulierungsaufgabe, sondern ein iterativer Prozess: Ergebnis prüfen, Schwächen erkennen, Prompt verbessern und erneut bewerten. Genau diese Kompetenz ist auch Bestandteil des ISTQB® Certified Tester – Testing with Generative AI (CT-GenAI).
Weitere konkrete Beispiele dafür, wie KI Tester im Arbeitsalltag unterstützen kann, findest du in unserem Beitrag Künstliche Intelligenz im Alltag von Softwaretestern.
GenAI-Systeme testen – was klassisches Testing nicht abdeckt
Beim klassischen Softwaretesten ist die Logik oft eindeutig: Für eine bestimmte Eingabe gibt es ein erwartetes Ergebnis, das mit dem tatsächlichen Ergebnis verglichen wird. Beim LLM Testing reicht dieser Soll-Ist-Vergleich nicht aus. Generative AI arbeitet probabilistisch – dasselbe Modell kann auf denselben oder sehr ähnliche Prompts unterschiedliche Antworten erzeugen, von denen mehrere fachlich akzeptabel sein können.
Deshalb verschiebt sich auch die Testlogik: Statt nur einzelne erwartete Ergebnisse zu prüfen, müssen Tester Verteilungen, Wiederholungen und Qualitätsmetriken über viele Ausgaben hinweg betrachten. Entscheidend ist nicht nur, ob eine Antwort einmal korrekt war, sondern wie zuverlässig sich das System über unterschiedliche Eingaben und wiederholte Testläufe verhält. Statistische Methoden werden damit zu einem zentralen Bestandteil der Qualitätssicherung von GenAI-Systemen.
1. Funktionale Korrektheit
Auch GenAI-Anwendungen haben funktionale Anforderungen. Ein Support-Chatbot soll beispielsweise eine Rückgabefrist korrekt nennen oder bestimmte Aktionen auslösen. Wo eindeutige Referenzantworten existieren, können Outputs mit einem Gold Standard, also einer fachlich geprüften Referenzmenge, verglichen werden.
Bei strukturierten Ausgaben ist zusätzlich eine automatische Output-Validierung sinnvoll. Liefert ein Modell beispielsweise JSON, lässt sich prüfen, ob die Antwort einem definierten Schema entspricht, alle Pflichtfelder enthält und zulässige Werte verwendet.
2. Halluzinationen
Ein LLM kann Aussagen erzeugen, die überzeugend klingen, aber nicht durch Fakten oder bereitgestellte Quellen gedeckt sind. Wer Halluzinationen testen möchte, braucht deshalb Testfälle mit überprüfbaren Fakten, fehlenden Informationen und bewusst irreführenden Fragen.
Bei einem RAG-System (Retrieval-Augmented Generation) wird ein Sprachmodell mit externen Wissensquellen verbunden, etwa einer internen Dokumentation. Hier lässt sich beispielsweise prüfen, ob ein Chatbot eine Antwort verweigert, wenn die Wissensbasis keine passende Information enthält – statt eine plausible Antwort zu erfinden.
3. Bias und Fairness
Beim Bias Testing wird untersucht, ob sich Antworten systematisch verändern, wenn eigentlich irrelevante Merkmale variiert werden. Eng damit verbunden ist Fairness: Werden vergleichbare Personen, Gruppen oder Situationen auch vergleichbar behandelt?
In einem Recruiting-Szenario können etwa Name, Alter oder Geschlecht variiert werden, während Qualifikation und Erfahrung identisch bleiben. Statt einzelne Antworten isoliert zu bewerten, sollten die Ergebnisse über viele Wiederholungen statistisch verglichen werden. Erst dadurch werden systematische Verzerrungen sichtbar.
4. Robustheit
Wie verhält sich das Modell bei Tippfehlern, widersprüchlichen Informationen, ungewöhnlichen Formulierungen oder absichtlich schwierigen Prompts?
Beim Adversarial Testing werden solche Eingaben gezielt konstruiert. Ein System kann beispielsweise mit widersprüchlichen Anweisungen, ungewöhnlichen Formatierungen oder manipulierten Kontextinformationen konfrontiert werden. Ziel ist nicht nur zu prüfen, ob die „richtige“ Antwort entsteht, sondern wie stabil das Verhalten unter schwierigen Bedingungen bleibt.
5. Drift und Reproduzierbarkeit
Ein heute erfolgreich getestetes GenAI-System muss morgen nicht identisch reagieren. Modellupdates, Änderungen an System-Prompts, Retrieval-Daten oder Nutzerverhalten können seine Ergebnisse verändern.
Um Drift zu erkennen, braucht es deshalb stabile Benchmark-Datensätze, wiederkehrende Evaluationen und definierte Qualitätsmetriken. Bei der Reproduzierbarkeit von KI geht es dabei nicht darum, jedes Wort identisch zu erhalten. Entscheidend ist, ob sich relevante Qualitätsmerkmale – etwa Korrektheit, Halluzinationsrate oder Sicherheit – innerhalb festgelegter Grenzen stabil verhalten.
6. Sicherheit, Prompt Injection und Red Teaming
Bei einer Prompt Injection versucht eine Eingabe, die vorgesehenen Regeln eines GenAI-Systems zu umgehen. Ein Angreifer könnte einen Assistenten beispielsweise dazu bringen wollen, Systemanweisungen zu ignorieren, vertrauliche Informationen offenzulegen oder unerlaubte Aktionen auszuführen.
Red Teaming geht über einzelne vorbereitete Sicherheitstests hinaus. Ein Red Team versucht systematisch, das System aus der vorgesehenen Nutzung herauszuführen und Schwachstellen zu provozieren. Dazu gehören direkte und indirekte Prompt Injections, mehrstufige Angriffe, manipulierte Dokumente in einem RAG-System oder Versuche, Sicherheitsmechanismen durch Umformulierungen und Kontextwechsel zu umgehen.
Wichtig ist dabei auch die Variation: Ein Angriff, der in einer Form abgewehrt wird, kann in einer leicht veränderten Form erfolgreich sein. Red Teaming betrachtet deshalb nicht nur einzelne Testfälle, sondern Angriffsklassen, Wiederholungen und Muster im Systemverhalten.
Wie lässt sich Qualität zuverlässig bewerten?
Nicht jeder Output kann manuell geprüft werden. Neben Gold Standards, Regeln und statistischen Verfahren wird deshalb zunehmend LLM-as-Judge eingesetzt: Ein weiteres Sprachmodell bewertet Antworten anhand definierter Kriterien.
Ein solcher Judge ist allerdings selbst ein probabilistisches System. Deshalb muss auch seine Bewertung kalibriert werden. Dazu werden Bewertungen des LLM-Judges mit Urteilen menschlicher Expert verglichen. Wichtig ist dabei, dass auch menschliche Reviewer untereinander ausreichend konsistent urteilen und dieselben Kriterien anwenden. Erst wenn menschliche und automatisierte Bewertungen nachvollziehbar aufeinander abgestimmt sind, kann ein LLM-as-Judge sinnvoll für größere Testmengen eingesetzt werden.
Damit verändert sich Generative AI QA grundlegend: Qualität entsteht nicht aus einem einzelnen „bestanden“ oder „nicht bestanden“, sondern aus Messreihen, Verteilungen, Schwellenwerten und wiederholbaren Evaluationen.
Mehr zu grundlegenden Teststrategien findest du in Erfolgreiches Testen von KI – Best Practices für jedes Projekt. Einen systematischen Lernweg zum Testen KI-basierter Systeme bietet außerdem der ISTQB® Certified Tester AI Testing (CT-AI v2).
